Ngày 8 tháng 6 năm 1982, Toà Thánh bổ nhiệm linh mục Louis Hà Kim Danh, hiện là Giám đốc Đại Chủng viện Phú Cường làm Giám mục phó Giáo phận Phú Cường, làm Giám mục phó cho giám mục Giuse Phạm Văn Thiên, thay thế Nguyên giám mục Phó Giacôbê Huỳnh Văn Của vừa từ chức và đang dưỡng bệnh ở ngoại quốc.[1][2]

Ngày 10 tháng 10 năm 1982, thánh lễ tấn phong Giám mục được tổ chức tại Phú Cường do Tổng giám mục đô thành Tổng giáo phận Thành phố Hồ Chí Minh Phaolô Nguyễn Văn Bình làm chủ phong, phụ phong có hai giám mục là Giuse Phạm Văn Thiên, Giám mục chính tòa Giáo phận Phú Cường và Louis Phạm Văn Nẫm, giám mục phụ tá Tổng giáo phận Thành phố Hồ Chí Minh.[1]

Ngày 10 tháng 5 năm 1993, Giám mục Phạm Văn Thiên từ chức và nghỉ hưu, Giám mục Phó Hà Kim Danh đương nhiên kế vị làm giám mục chính tòa Giáo phận Phú Cường. Ông trở thành giám mục chính tòa khi đã được 80 tuổi.[2]

Sau hơn 10 năm làm Giám mục phó, sức khỏe giám mục Hà Kim Danh suy yếu lại mắc bệnh tim nên phải điều trị ở Thành phố Hồ Chí Minh. Ngày 22 tháng 2 năm 1995, ông từ trần lúc 11 giờ 10 phút tại Bệnh viện Chợ Rẫy, hưởng thọ 82 tuổi với 55 năm trong sứ vụ linh mục và 13 năm trong cương vị giám mục.[1][2][3] Lễ an táng cố giám mục Hà Kim Danh sau đó được cử hành vào ngày 25 tháng 2, do CHủ tịch Hội đồng Giám mục Việt Nam Phaolô Maria Nguyễn Minh Nhật chủ tế, cùng đông đảo giám mục, hơn 130 linh mục đồng tế.[3]